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Interactive computer system e.g. mouse with hand gesture controlled 
operation - has 2 or 3 dimensional user surface that allows one or two hand 
input control of computer 
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Abstract of DE4201934 

The interactive computer system employs an input facility that responds to the movements of one or 
both hands of the user to manipulate functions. The process may be based upon either a 2 or 3 
dimensional user surface. 

The system responds to the gestures provided by hand movement and translates the movements into 
commands that are then used to control processing. Key features of the motions are extracted and 
stored. 

ADVANTAGE - Improves the communication between man and computer. 
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(3) Gestik Computer 

(57) Datenverarbeitungssystem, welches durch Ausdrucksfor- 
men der menschlichen Gestik gusto uert wird. Es werden 
Btlder dee menschlicrien K&rpers oder von Korperteilan 
aufgenommen und a us dleaen werden AiiBdmckaformen der 
menschlichen Gestik extrahiort. Dieae werden In Befehle zur 
Steuerung des DatenverarbeitungaByateme Obersetzt. In 
Verbinduag mit einer graphischen BonutzarobarflSche ist 
eof dieae Woise die Steuerung etnas derartigen Datenverer- 
beitungasyatoms dirokt mh den Bewegungen der menschli- 
chan Hand bzw. baider Hande oder arxierw geatischer 
Ausdruokaformen ohne Zuhilfenahme techniachar Eingabe- 
rnedien, wie z. B. einer Meus, m&glich. 
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Die Verbesserung der Kommunikation zwischen 
Mensch und Maschine und die Suche nach neuen Einga- 
betechniken gewinm bedingt durch immer komplexer 
werdendc Computeranwendungen immer mehr an Be- 
deutung. Aus dies em Grunde ist es ein Ziel vieler techni- 
scher Entwicklungen, neb en den klassischen Eingabege- 
raten ernes Computers, wie z. B. Tastatur, Graphik-Ta- 
blett, Maus etc. und in Entwicklung befind lichen Einga- 
bemethoden, wie Sprach- und Handschrifterkennung, 
neue, der naturiichen raumlichen menschlichen Kom- 
munikation angepaBte Interaktionsm^glichkeiten mit 
der Maschine zu entwickeht Hierfur bieten sich die Ge- 
stik und Mimik des Menschen auf natflrliche Weise an, 
da diese Ausdrucksformen in der naturiichen Kommuru- 
kation zwischen Menschen von grofier Bedeutung sind. 
Um diese Ausdrucksformen des Menschen als Einga be - 
methode fur Computer nutzbar zu machen, mQssen 
Kopf- und Korperbewegungen erkannt und interpre- 
tiert werden. 

Das bisher einzige am Markt tatsachlich etablierte 
benatzerfreundliche Eingabemedium fur Computer ist 
die Maus. Betrachtet man den EinfluQ dieses Eingabe- 
mediums auf die gesamte Entwicklung von Computern 
bzw. deren Benutzerschnittstellen. so stelk man eine 
sehr groBe Steigerung der Benutzerfreundlicfakeit und 
der Effektivitat von damit ausgerusteten Computern 
fest Fensteroberflachen, in denen graphische Objekte 
(Icons) mit der Maus manipuliert werden konnen, stellen 
im Vergleich zu den alten, an der Tastatur orienderten 
Bedienweisen eine vOUig neue Art dar, Computer zu 
benutzen. Dieser qualitative Sprung in der Bedienung 
ermoglichte eine wesentliche Steigerung der Arbeits- 
produktivhat, eine deutliche Verringerung der Anlern- 
zeiten und machte viele Computeranwendungen erst 
moglich. 

Die Maus ist ein zwesdimensionales Eingabemedium. 
1m Gegensatz dazu denkt und bewegt sich der Mensch 
in dreidimensionalen Umgebungen. Seine Gesten und 
Wahrnebrnungen sind raurnlich gepragt Diese Umstan- 
de sollten konsequenter Weise in einem dreidimensio- 
nalen Eingabemedium und in entsprechenden dreidi- 
mensionalen Benutzeroberflachen ihre Entsprechung 
finden. 

Neben der Maus wurde in den letzten Jahren ein 
weiteres Eingabemedium, welches als Data Glove (Da- 
tenhandschuh) bezeichnet wird, bekannL Diese Date 
Glove wurde in den Jahren 1984 bis 1987 von der Firraa 
VPL-Research von Thomas G. Zimmermann und L. 
Young Harvill entwickelt Der Data Glove ubersetzt 
Bewegungen der Hand und der Finger in elektrische 
Signale. Zwischen zwei Stofflagen verlaufen fieberopti- 
sche ICabel entlang aller Finger und des Daumens. Beide 
En den jedes Kabels m (inden in em Interface-Board na- 
he des Handgelcnks. Eine lichtemittierende Diode an 
einem Ende sendet Licht entlang des Kabels zu einem 
Phototransistor am anderen Ende, der das Licht in ein 
elektrisches Signal umwandelt Das Signal gelant vom 
Handgelenk zum angeschlossenen Rechner durch ein 
angeschlossenes KabeL Je starker die Finger gekrQmmt 
werden, desto gro&er ist der Lichtverlust im fieberopti- 
schen KabeL und desto kleiner damit das entsprechende 
elektrische Signal Die Lage und Orientierung der Hand 
im Raum wird mit Hilfe eincs sog. Pollhemus- Sensors 
(Mc Donnel Douglas Corporation), der auf dem Hand- 
rucken montiert wird, bestimmt. Dieser Sensor miBt die 
Starke und Orientierung dreier aufetnander senkrecht 



stehender kilnstlich erzeugter Magnetf elder im Raum. 

Die Nachteile des Data Glove sand in erster Lznie in 
seinem hohen Preis und in seiner relativ hohen Anfallig- 
keit gegenQber mechanischen Einflttssen zu sehen. Fer- 
5 ner best eh en erhebliche Akzeptanzprobleme, da der 
Data Glove nicht immer angenehm zu tragen ist. Ferner 
schrankt der Data Glove die Beweglichkeit des Anwen- 
ders durch ZufOhrungskabel und sein Gewicht ein. Der 
Benutzer ist durch den Data Glove allgemein in seiner 
io Aktionsfahigkeit eingeschrankt, da er die Hand nicht fur 
weitere Arbeiten, wie z. B. Schreiben, verwenden kann. 

Die Firma Xerox Palo Alto Research Center, der Er- 
finder der Schreibtischbenutzeroberflachen von Com- 
putersysternen. stellte vor kurzem einen Prototyp einer 
is dreidimensionalen Benutzer oberflache vor. Die Idee ist 
hierbci, daB sich auf dem Bildschirm Strukturen befin- 
den, welch e sich in Echtzeit im dreidimensionalen Raum 
bewegen, und vom menschlichen visueilen System in 
ihrer raumlichen Struktur wahrgenommen und inter- 
20 pretiert werden (Mark A. Clarkson, Xerox PARC: "An 
Easier Interface, Byte Magazine" February 1991, pp. 
277—282; George G. Robertson, Stuart K. Card and 
Jock D. Mackinlay, Xerox PARC: The Cognitive Co- 
processor Architecture for Interactive User Interfaces", 
25 Proceedings of the ACM SIGGRAPH Symposium on 
User Interface Software and Technology, New York 
19B9,pp.l0-18). 

Fur eine sinn voile Arbeit mit derartigen dreidimen- 
sionalen Benutzeroberflachen wird ein dreidimensiona- 
30 les Eingabegerat fur Computer benotigt Wunschens- 
wert ist ein dreidimensionales Eingabemedium, welches 
den Benutzer nicht behindert, so daB er frei arbeiten 
kann, das vom Benutzer mOglichst we nig Anpassung an 
seinen Rechnerarbeitsplatz fordert, das in der Lage ist, 
35 menschliche Mctaphern zu erkennen und zu interpretie- 
ren und das relativ unabhangig gegenttber Umweltein- 
fltissen ist 

Der Erfindung liegt die Aufgabe zugrunde, ein Daten- 
verarbeitungssystem anzugeben, welches in der Lage 

40 ist, die Ausdrucksformen der menschlichen Gestik di- 
re kt in Befehle zu seiner Steuerung umzusetzen. Diese 
Aufgabe wird durch ein Datenverarbeitungssystem mit 
Merkmalennach Anspruch 1 gelost. 

Bei diesem Datenverarbeitungssystem, welches durch 

45 Ausdrucksformen der menschlichen Gestik gesteuert 
wird, sind Mittel vorgesehcn, zur Aufnahme von Bildem 
des menschlichen Korpers oder von KGrperteilen, zur 
Extraktion solcher Ausdrucksformen aus solchen Bil- 
dern, und zur Obersetzung solcher Ausdrucksformen in 

so Befehle zur Steuerung des Datenverarbeitungssystems. 
Ein derartiges Datenverarbeitungssystem macht die 
Verwendung technischer Eingabemedien, wie z. B. einer 
Maus oder einer Tastatur, weitgehend, wenn nicht vol- 
lig, entbehrlich. In einer bevorzugten Ausfuhrungsform 

55 der Erfindung ist bci dem Datenverarbeitungssystem 
eine graphische Benutzeroberflache vorgesehea deren 
Bedienungselemente mit Hilfe von Objekten manipu- 
liert werden konnen, welche extrahierte Ausdrucksfor- 
men der menschlichen Gestik darstellen. wodurch das 

eo Datenverarbeitungssystem gesteuert wird. Die graphi- 
sche Benutzeroberflache kann dabei sowohl zweidi- 
mertsionai als auch dreidimensional sein. Eine Weiterbil- 
dung der Erfindung sieht vor, daB extrahierte Aus- 
drucksformen der menschlichen Gestik durch Objekte 

65 auf dieser graphischen Benutzeroberflache dargestellt 
werden, welche geeignet sind, Bewegungen und SteUun- 
gen der menschlichen Hand oder beider Hande eines 
Menschen zu visualisieren. Dabei ist es besonders vor- 



DE 42 01 

3 

teilhaft, wenn die graphische Benutzeroberflache des 
Datenverarbeitungssystems Strukturrnerkmale der rea- 
lcn Arbeitsumgebung eines typischen Anwenders des 
Datenverarbeitungssystems oder Strukturrnerkmale 
von Gegenstanden aus dieser Arbeitsumgebung auf- 5 
weist, wobei Bedienungselemente dieser Benutzerober- 
flache mit Hilfe graphischer Darstellungen von Gegen- 
standen aus dieser Arbeitsumgebung oder Teilen sol- 
dier Gegenstande visualisiert werden. Je nach Anwen- 
dungsart kann die graphische Benutzeroberflache dabei 10 
z. B. Stmkturmerkmaie eines Schreibtisches aufweisen. 
Zus&tzlich oder altemativ dazu kann die graphische Be- 
nutzeroberflache auch Strukturrnerkmale eines Kartei- 
kastens oder mehrerer Karteikasten aufweisen. Ftir vie- 
le Anwendungen ist es vorteilhaft, wenn die graphische 15 
Benutzeroberflache auBerdem Strukturrnerkmale eines 
Schriftstucks oder mehrerer SchriftstOcke aufweist. 
SchJieBlich gibt es eine Reihe von Anwendungen, fur 
welche die graphische Benutzeroberflache vorteilhaft 
Strukturrnerkmale eines Aktenschranks oder mehrerer 20 
Aktenschranke aufweist FUr eine Reihe von Anwen- 
dungen ist es vorteilhaft, wenn die Benutzeroberflache 
gleichzeitig Strukturrnerkmale von mehreren der ge- 
nannten Arbeitsumgebungen bzw. von mehreren Ge- 
genstanden aus einer Arbeitsumgebung aufweist 25 

In anderen Anwendungen sind graphische Benutzer- 
oberflachen besonders geeignet, welche Strukturrnerk- 
male einer technischen Leitwarte aufweisen. SchlieBlich 
ist es in einer Reihe von medizintechnischen Anwendun- 
gen vorteilhaft, wenn die graphische Benutzeroberfla- 30 
che Strukturrnerkmale bestimmter medizintechnischer 
Gerate aufweist 

Die Extraktion von Ausdrucksformen der menschii- 
chen Gestik gelingt besonders zuverlassig und effizient, 
wenn zu diesem Zweck die Lage von Markierungen auf 35 
der Oberfiache des menschlichen Korpers ausgewertet 
wird. Bei vielen Anwendungen komrat hierfur bevor- 
zugt die Auswertung der Lage von Markierungen auf 
der Handoberfiache in Betracht In anderen Anwendun- 
gen ist es vorteilhaft, die Blickrichtung eines Anwen- 40 
ders, seine Augenbewegungen, seine Kopfbewegungen, 
seine Mundbewegungen, seine Mimik oder die Bewe- 
gung des Korpers insgesamt auszuwerten. Mit Hilfe ei- 
nes derartigen Datenverarbeitungssystems ist die intui- 
tive Bedienung eines Computers in verschiedensten An- 45 
wendungen mdglich. Im Ergebnis wird hierdurch quasi 
ein neues dreidimensionales Eingabegerat fQr Compu- 
ter geschaffen, welches Handgesten und Bewegungen 
der menschlichen Hand erkennt verfolgt, interpretiert 
und dann zur Steuerung von Rechneraktionen verwen- 50 
det 

Gegentlber bestehenden Eingabcmedien wie z. B. ei- 
ner Maus oder einem Trackball besitzt die erfin dungs- 
gemafle Lftsung folgende Vorteile: Sie gewBhrleistet ei- 
ne noch intuitivere Bedienbarkeit des Rechners, welche 55 
vom Benutzer ein Minimum an Anpassung an seinen 
Rechnerarbeiisplatz fordert Die Freiheit des Benutzers 
wird weitgehend erhalten, da er kein zus&tzliches Einga- 
begerat bedienen muB und deshalb in seiner gewohnten 
Arbeitsumgebung frei weiterarbeiten kann. Beide Han- &o 
de des Benutzers konnen gleichzeitig zur Steuerung des 
Datenverarbeitungssystems verwendet werden. Die 
raumltche Welt des Benutzers wird bei Verwendung 
einer dreidimenslonalen Benutzeroberflache in eine 
raumliche Interaktionswelt mit dem Rechner abgebil- es 
det. 
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Patentanspruche 

1. Datenverarbeitungssystern, welches durch Aus- 
drucksformen der menschlichen Gestik gesteuert 
wird, mit Mitteln 

— zur Aufnahme von Bildern des menschli- 
chen KLdrpers oder Teilen davon, 

— zur Extraktion solcher Ausdrucksformen 
aus solchen Bildern, und 

— zur Obersetzung solcher Ausdrucksformen 
in Befehle zur Steuerung des Datenverarbei- 
tungssystems. 

2. Datenverarbeitungssystern nach Anspruch I mit 
einer graphischen Benutzeroberflache, auf der er- 
ste Objekte sichtbar sind, welche Bedienungsele- 
mente der Benutzeroberflache darstellen, und auf 
der zweite Objekte sichtbar sind, welche extrahier- 
te Ausdrucksformen der menschlichen Gestik dar- 
stellen, wobei erste Objekte mit Hilfe von zweiten 
Objekten manipuliert werden kdnnen, wodurch das 
Datenverarbeitungssystern gesteuert wird. 

3. Datenverarbeitungssystern nach Anspruch 2 mit 
einer zweidimensionalen graphischen Benutzer- 
oberflache. 

4. Datenverarbeitungssystern nach Anspruch 2 mit 
einer dreidimensionalen graphischen Benutzer- 
oberflache. 

5. Datenverarbeitungssystern nach einem der An- 
spruche 2 bis 4, bei dem extrahierte Ausdrucksfor- 
men der menschlichen Gestik durch Objekte dar- 
gestellt werden, welche geeignet sind, Bewegungen 
und Siellungen der menschlichen Hand oder beider 
Hande eines Menschen zu visualisieren 

6. Datenverarbeitungssystern nach einem der An- 
spruche 2 bis 5, des sen graphische Benutzeroberfla- 
che Strukturrnerkmale der realen Arbeitsumge- 
bung eines typischen Anwenders des Datenverar- 
beitungssystems oder Strukturrnerkmale von Ge- 
genstanden aus dieser Arbeitsumgebung aufweist, 
wobei Bedienungselemente dieser Benutzerober- 
flache mit Hilfe graphischer Darstellungen von Ge- 
genstanden aus diese Arbeitsumgebung oder Tei- 
len solcher Gegenstande visualisiert werden. 

7. Datenverarbeitungssystern nach einem der An- 
sprtlche 2 bis 6, dessen graphische Benutzeroberfla- 
che Strukturrnerkmale eines Schreibtisches auf- 
weist 

8. Datenverarbeitungssystern nach einem der An- 
spruche 2 bis 7, dessen graphische Benutzeroberfla- 
che Strukturrnerkmale eines Karteikastens oder 
mehrerer Karteikasten aufweist 

9. Datenverarbeitungssystern nach einem der An- 
spruche 2 bis 8, dessen graphische Benutzeroberfla- 
che Strukturrnerkmale eines Schriftstucks oder 
mehrerer SchriftstQcke aufweist 

10. Datenverarbeitungssystern nach einem der An- 
spruche 2 bis % dessen graphische Benutzeroberfla- 
che Strukturrnerkmale eines Aktenschranks oder 
mehrerer Aktenschranke aufweist 

1 1. Datenverarbeitungssystern nach einem der An- 
spruche 2 bis 10, dessen graphische Benutzerober- 
flache Strukturrnerkmale einer technischen Leit- 
warte aufweist 

12. Datenverarbeitungssystern nach einem der An- 
spruche 1 bis 11, dessen graphische Benutzerober- 
flache Strukturrnerkmale medizintechnischer Ge- 
rate aufweist 

13. Datenverarbeitungssystern nach einem der vor- 
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hergehenden Anspruche, welches die Lagc von 
Mariderungen auf der Oberfl&che des menschli- 
chen Korpers zur Extraktion von Ausdrucksfor- 
mender menschlichen Gestik auswertet 

14. Datenverarbeitungssystem nach einem der vor- 5 
hergehenden Anspruche, welches die Lage von 
Markierungen auf der Handoberflache zur Extrak- 
tion von Ausdrucksformen der menschJichen Ge- 
stik auswertet. 

1 5. Datenverarbeitungssystem nach einem der vor- 10 
hergehenden Anspruche, welches die Blickrichtung 
eines Anwenders auswertet 

16. Datenverarbeitungssystem nach einem der vor- 
hergehenden Anspruche, welches die Augenbewe- 
gungen eines Anwenders auswerte t 1 5 

17. Datenverarbeitungssystem nach einem der vor- 
hergehenden Anspruche. welches die Kopfbewe- 
gung eines Anwenders auswertet 

1 8. Datenverarbeitungssystem nach einem der vor- 
hergehenden Anspruche, welches die Mundbewe- 20 
gungen eines An wenders auswertet 

19. Datenverarbeitungssystem nach einem der vor- 
hergehenden Ansprilche, welches die Mimik eines 
Anwenders auswertet 

2a Datenverarbeitungssystem nach einem der vor- 25 
hergehenden Anspruche, welches die Korperbewe- 
gung eines Anwenders auswertet 
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